预计在现实世界中部署的NLU系统将定期更新或对随着时间的推移积累的新培训示例的基础神经网络进行重新更新。在我们的工作中，我们专注于多语言环境，在该环境中，我们希望在该设置中进一步捕获有关上述模型已经接受过培训的NLU任务的新培训数据的多语言模型。我们表明，在某些条件下，天真地更新多语言模型可能会导致语言子集的性能损失，尽管汇总性能指标显示出改进。我们在属于三个任务系列（令牌级，句子级别和SEQ2SEQ）的四个任务上建立了这种现象，并发现基线远非手头设置的理想选择。然后，我们基于最近进步的参数有效填充，以开发新颖的填充管道，使我们能够共同最大程度地减少灾难性的遗忘，同时鼓励积极的跨语言转移，从而改善不同语言的增长，同时减少这种设置中损失的损失。
translated by 谷歌翻译
是否可以在深网络中重组非线性激活函数以创建硬件有效的模型？为了解决这个问题，我们提出了一个称为重组激活网络（RANS）的新范式，该范式操纵模型中的非线性数量以提高其硬件意识和效率。首先，我们提出了RAN-STHICER（RAN-E） - 一个新的硬件感知搜索空间和半自动搜索算法 - 用硬件感知的块替换效率低下的块。接下来，我们提出了一种称为RAN-IMPLICIC（RAN-I）的无训练模型缩放方法，从理论上讲，我们在非线性单元的数量方面证明了网络拓扑与其表现性之间的联系。我们证明，我们的网络在不同尺度和几种类型的硬件上实现最新的成像网结果。例如，与有效网络-lite-B0相比，RAN-E在ARM Micro-NPU上每秒（FPS）提高了1.5倍，同时提高了类似的精度。另一方面，ran-i以相似或更好的精度表现出#macs的#macs降低2倍。我们还表明，在基于ARM的数据中心CPU上，RAN-I的FPS比Convnext高40％。最后，与基于Convnext的模型相比，基于RAN-I的对象检测网络在数据中心CPU上获得了类似或更高的映射，并且在数据中心CPU上的fps高达33％。
translated by 谷歌翻译
自治系统对深度神经网络（DNN）的各种对抗攻击非常容易受到影响。由于其速度，易于部署以及在许多DNN上工作的能力，自由培训的模型 - 无症防御最近获得了普及。为此，已经出现了一种新技术，用于减轻对图像分类DNN的攻击，即使用超分辨率的预处理对抗性图像 - 将低质量输入提升为高分辨率图像。这种防御需要在受约束的自治系统上运行图像分类器和超分辨率模型。但是，超级分辨率招收了沉重的计算成本。因此，在本文中，我们调查以下问题：如果我们使用小型超分辨率模型，图像分类器的稳健性会受到痛苦吗？为了回答这一点，我们首先审查最近的工作称为超高效的超分辨率（SESR），其比现有技术更好地实现了类似或更好的图像质量，同时需要2x到330倍，乘法累积（MAC）操作较少。我们证明，尽管是比现有模型小的数量级，但SESR实现了与网络更大的稳健性相同。最后，我们在商业臂ETHOS-U55 Micro-NPU上估计基于超分辨率的防御的端到端性能。我们的研究结果表明，SESR在实现类似的稳健性时比基线实现了近3倍。
translated by 谷歌翻译
深度神经网络的可解释性已成为勘探的主要领域。虽然这些网络在许多任务中实现了最先进的准确性，但极难解释和解释他们的决定。在这项工作中，我们分析了深度卷积网络的最终和倒数第二层，并提供了一种有效的方法，用于识别贡献对网络决定的最大贡献的特征子集。我们证明，与最终层的尺寸相比，每个类的这种特征的数量远低得多，因此深CNN的决定表面位于低维歧管上，并且与网络深度成比例。我们的方法允许将最终层分解为单独的子空间，该子空间远远不可解释，并且与完整网络的最终层相比具有较低的计算成本。
translated by 谷歌翻译